# !/usr/bin/env python3
# -*- coding:utf-8 -*-
# 启动命令 scrapy crawl MyNovel --nolog
__author__ = 'sun'

import scrapy
import datetime

# 引入本地的模板
from scrapyDemo.Novels import Novel

class MyNovel(scrapy.Spider):
    global n
    n = 0

    # 设置全局唯一的name
    name = 'MyNovel'

    allowed_domains = ['www.xbiquge.la']

    # 填写爬取地址 动态改变
    start_urls = ['http://www.xbiquge.la/15/15273/8145180.html']

    # 编写爬取方法
    def parse(self, response):
        #print("返回:", response)
        # 实例一个容器保存爬取的信息
        item = Novel()
        # 这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定
        # 先获取每个课程的div
        global n
        n = n + 1
        item['sort'] = n

        for box in response.xpath('//div[@class="box_con"]'):
            # 获取div中的课程标题
            item['title'] = box.xpath('//div[@class="bookname"]/h1/text()').extract()[0].strip()
            #item['content'] = box.xpath('//div[@id="content"]').xpath('string(.)').extract()[0].strip()
            item['currentTimeT'] = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
            item['content'] = box.xpath('//div[@id="content"]').extract()[0].strip()

            #print("打印爬取值item:",item)
            # 返回信息
            yield item

        new_url = response.xpath('//div[@class="bottem1"]/a[4]/@href').extract_first()  # 翻页
        print('new_url:',new_url)
        if new_url:
            yield scrapy.Request('http://www.xbiquge.la' + new_url, callback=self.parse)
